Nguồn gốc của khẩu súng trường này có thể được bắt nguồn từ những năm cuối của Thế chiến II khi các kỹ sư của Mauser tại Tập đoàn Phát triển Vũ khí Hạng nhẹ (Abteilung 37) tại Oberndorf am Neckar đã thiết kế MKb Gerät 06 (Maschinenkarabiner Gerät 06 hoặc "Súng Cạc-bin số 06" ), súng trường tấn công nguyên mẫu được đặt trong loại đạn 7.92×33mm Kurz trung gian, mẫu Gerät 06 sử dụng cơ chế bệ lùi ngắn có khóa con lăn ban đầu được điều chỉnh từ súng máy MG 42 nhưng với nòng súng cố định. Gerät 06 sau này đã được phát triển thàng StG 44 (Sturmgewehr 44 hoặc Súng trường tấn công 44). Sau đó các kỹ sư nhận thấy một số bộ phận của súng có thể bỏ qua hoặc tiêu giảm, kết quả là sự ra đời của khẩu 06H Gerät hay còn được biết đến với tên gọi STG 45 (Sturmgewehr 45, tạm dịch Súng trường tấn công 45). Tuy nhiên nó không được sản xuất hàng loạt và thế chiến đã kết thúc trước khi những khẩu súng trường sản xuất đầu tiên được hoàn thành.

Các kỹ sư Đức liên quan đến việc phát triển StG 45 (M) đã được đưa đến làm việc tại CEAM (Center d'Etudes et binhrmement de Mulhouse) ở Pháp. Cơ chế StG 45 (M) đã được Ludwig Vorgrimler và Theodor Löffler sửa đổi tại cơ sở Mulhouse trong khoảng năm 1946 đến 1949. Ba phiên bản đã được chế tạo, dùng đạn .30 Carbine, 7.92×33 mm Kurz cũng như loại đạn thử nghiệm 7.65×35 mm của Pháp được phát triển bởi Cartoucherie de Valence vào năm 1948. Loại đạn 7,5 x 38 mm với một phần bằng nhôm cũng đã được tính đến trước khi bị loại bỏ vào năm 1947. Thiết kế của Löffler, được chỉ định là Carabine Mitrailleuse Modèle 1950, được giữ lại để thử nghiệm trong số 12 nguyên mẫu khác nhau được thiết kế bởi CEAM, MAC, và Manufacture d'armes de Saint-Étienne... Các mẫu súng trên có tham gia vào chiến tranh Đông Dương, tuy nhiên Pháp đã hủy bỏ việc đưa vào biên chế chính thức vì lý do tài chính.

Năm 1950, Vorgrimler chuyển đến Tây Ban Nha, nơi ông đã tạo ra khẩu súng trường LV-50 được sử dụng loại đạn Kurz và sau đó, viên đạn CETME M53 dùng đạn 7,92×40mm độc quyền. Tại thời điểm này, nó được đổi tên thành Modelo 2. Modelo 2 đã thu hút sự chú ý của Bộ đội Biên phòng Tây Đức (Bundesgrenzschutz), đã tìm cách trang bị lại cho lực lượng phòng thủ quốc gia mới thành lập. Vì không chấp nhận một loại đạn ngoài đặc điểm kỹ thuật của NATO, người Đức đã yêu cầu CETME phải tương thích với đạn 7.62×51mm. 2 loại đạn này tương tự nhau về đầu đạn nhưng có chiều dài và năng lượng giảm đi. Kết quả là sự ra đời của CETME Model A và sau đó là CETME Model B với một số sửa đổi, một trong số đó súng có khả năng bắn từ thoi nạp đạn đóng trong cả chế độ bán tự động lẫn tự động. Súng có ốp lót tay dạng tấm kim loại đục lỗ mới, nòng dài hơn với khả năng phóng lựu đạn súng trường cỡ 22 mm. Năm 1958, khẩu súng trường này được chấp nhận đưa vào sử dụng cho Quân đội Tây Ban Nha với tên Modelo 58, sử dụng đạn 7.62×51mm CETME.

Năm 1956, Lực lượng Quốc phòng Liên bang Đức đã hủy bỏ kế hoạch mua súng trường CETME, thay vào đó lại sử dụng FN FAL (G1) do Bỉ sản xuất. Tuy nhiên, Quân đội Tây Đức mới thành lập (Bundeswehr) đã thể hiện sự quan tâm và sớm mua một số súng trường CETME (7.62×51mm NATO) để thử nghiệm thêm. CETME, được gọi là Automatisches Gewehr G3 theo danh pháp của Đức, đã cạnh tranh thành công với SIG SG 510 (G2) của Thụy Sĩ và AR-10 (G4) của Mỹ để thay thế súng trường G1 rất được ưa chuộng trước đây. Năm 1956, Bundeswehr bắt đầu thử nghiệm mở rộng quân đội với 400 khẩu súng trường CETME. Heckler & Koch đã thực hiện một số thay đổi cho súng trường CETME. Vào tháng 1 năm 1959, Bundeswehr chính thức áp dụng đề xuất CETME được cải tiến về mặt kỹ thuật. Chính phủ Tây Đức muốn súng trường G3 được sản xuất theo giấy phép ở Đức; việc mua G1 trước đây đã rơi vào sự từ chối của FN để cấp giấy phép như vậy. Trong trường hợp của G3, công ty Nederlandse Wapen en Munitiefabriek (NWM) của Hà Lan nắm giữ quyền sản xuất và bán giấy phép thiết kế CETME ngoài Tây Ban Nha. Để có được giấy phép sản xuất, chính phủ Tây Đức đã cung cấp các hợp đồng của NWM để cung cấp cho Không quân Đức (Luftwaffe) loại pháo 20 mm. Việc sản xuất khẩu G3 sau đó được giao cho Rheinmetall và H & K. Các công ty đã cải tiến không ngừng mẫu súng này, để nó thể hiện được sức mạnh và uy lực của loại đạn 7,62x51mm NATO. Năm 1969, Rheinmetall đã bỏ việc sản xuất G3 để trao đổi với H & K một số điều khoản về việc bán súng máy MG3. Sau năm 1977, chính phủ đã nhượng lại quyền sở hữu cũng như bán độc quyền G3 cho H & K.

Mẫu sản xuất ban đầu của súng trường G3 khác biệt đáng kể so với các mẫu gần đây hơn; súng trường ban đầu có các điểm ruồi kiểu đóng (có hai khẩu độ), chân chống hạng nhẹ có thể gấp được, tay cầm bằng thép tấm được đóng dấu, đệm má gỗ (gắn trên báng tiêu chuẩn) hoặc báng súng kim loại. Trước khi giao cho Bundeswehr, mỗi khẩu G3 đã được kiểm tra chức năng, vạch ra đường ngắm và bắn thử nghiệm tại nhà máy. Trong quá trình đó, năm phát súng đã được bắn vào mục tiêu ở cự ly 100 mét (109 thước) với độ chính xác đáng kinh ngạc. 5 viên đạn không thể vượt quá đường kính 120 mm (4,7 in) (1,2 triệu / 4,13 MOA). Súng đã được hiện đại hóa trong suốt thời gian sử dụng (trong số các sửa đổi nhỏ khác, nó sử dụng kính ngắm mới, nòng giảm thanh ẩn tia lửa khác nhau...), tạo ra các mẫu sản xuất gần đây nhất, G3A3 (với một báng polymer cố định) và G3A4 (báng kim loại). Súng trường tỏ ra thành công trên thị trường xuất khẩu, được thông qua bởi lực lượng vũ trang của hơn 40 quốc gia. Trong đó, 18 quốc gia đã đảm nhận việc sản xuất G3 trong nước theo giấy phép. Các nhà sản xuất vũ khí được biết đến bao gồm: Pháp (MAS), Hy Lạp (Công nghiệp vũ khí Hellenic), Iran (Tổ chức công nghiệp quốc phòng), Luxembourg (Luxemburg Defense Technologie), Mexico, Myanmar, Na Uy (Kongsberg Våpenfabrikk), Pakistan (Pakistan Ordnance Factories), Bồ Đào Nha (FBP), Ả Rập Saudi, Thụy Điển (Husqvarna Vapenfabrik AB và FFV Carl-Gustaf ở Esk Whileuna), Thái Lan, Thổ Nhĩ Kỳ (MKEK) và Vương quốc Anh (Hoàng gia Anh).[3]

Bundeswehr đang nghiên cứu cải tiến súng trường G3 của họ vào những năm 1990 với một vài cải tiến khi thay thế súng trường G3 bằng Heckler & Koch G36. Hiện tại (2018) hàng trăm ngàn khẩu súng trường biến thể hiện đại hóa G3A3A1, G3A4A1 và G3KA4A1 được nhân viên Bundeswehr duy trì và giữ trong kho dự trữ hoặc có sẵn trong kho vũ khí nhỏ của quân đội.